任务上下文塑造语言模型中组件角色
🧭 语言模型组件角色的任务上下文依赖性
University of Pennsylvania · Yale University
任务上下文改变共享注意力头响应的事实及其对后续计算的影响，线性响应图可预测干预效果
📌 工作参考价值（4 点）
- 在多任务电商/搜索 LLM 中，共享注意力头的角色随任务 Prompt 改变：可测量不同业务任务（query 改写 vs 推荐理由生成）下各头的影响分布，识别任务关键头，指导稀疏微调或任务特定低秩适配，避免全参更新。
- 线性响应图可作为轻量任务行为代理：为不同业务 Prompt 构建组件间线性映射，用早期激活变化预测后续层响应，降低线上任务切换时的行为漂移监控成本。
- 激活编辑切换行为而不改指令：在可控生成或 Agent 风格切换场景，只编辑早期内部激活即可让模型读取不同事实/知识，无需重写 Prompt，可用于无感干预或 A/B 隔离测试。
- 但整体属于机制可解释性研究，业务直接收益有限；其干预测量与影响分数方法可迁移到诊断推荐/搜索任务间泛化失败原因，但需自行设计干预目标。
影响力分数与Transformer可解释性：推理时测量注意力头的有效影响
🧭 Transformer 可解释性 · 注意力头归因
Thales CDI, France · Inria Paris, France · Sorbonne Université, France
提出结合logits方向影响与残差流结构贡献的influence score，用于多尺度量化注意力头对分类决策的贡献
📌 工作参考价值（4 点）
- 对部署在推荐/广告风控链路中的文本分类模型（如恶意query检测、prompt注入检测、低质内容过滤），可用influence score定位导致错误预测的关键注意力头，辅助badcase归因与模型调试。
- 其“方向影响+结构贡献”的双信号设计可迁移到Transformer排序模型：对用户行为序列、特征交叉层做注意力头级贡献分析，识别冗余或高影响头，用于推理加速或蒸馏裁剪。
- 多尺度分析框架（head/layer/network）可用作模型上线后的行为监控，检测决策模式漂移，尤其适用于数据不可控的外部安全分类器。
- 主要价值在可解释性工具，电商推荐场景的直接业务收益有限，需结合具体模型验证。
扰动如何在大型语言模型中传播：鲁棒性的多层分析
🧭 LLM 鲁棒性多层评估
INTI International College Penang · Independent Researcher · FPT University
在六个模型上从行为、隐状态几何和注意力头三层揭示输入扰动传播异质性，证明单指标鲁棒性评估不充分
📌 工作参考价值（4 点）
- 在电商搜索/QueryRec 的 LLM 链路（query rewriting、产品匹配、生成式 item ID 等）中，不要只看最终准确率：对拼写错误、OCR 扰动、词序打乱等输入，建议同时监控 hidden-state CKA、intrinsic dimension 或关键 attention head 的激活漂移，否则轻微行为变化可能掩盖内部计算崩溃。
- 对抗性 HotFlip 扰动比同比例随机 token 替换造成更强的行为与表示破坏，且行为影响跨 GPT-2/Qwen2.5 一致；若将 LLM 用于用户输入理解或 prompt 约束较弱的 Agent 规划，应优先做梯度引导攻击的鲁棒性测试，并考虑对抗样本增强。
- Copying score 与 token 替换/打乱下 activation patching 恢复高度相关，可在线上输入异常检测中把拷贝型 attention head 的响应作为鲁棒性代理指标，快速定位长尾扰动导致的失败。
- 模型版本升级或 prompt 修改时，用多层指标做回归比对，而不是只跑 benchmark 分数，避免“输出分数没变但表示已经漂移”的隐患。
表格数据学习中 Transformer 注意力头的重要性评分
🧭 表格 Transformer 注意力头可解释性与剪枝
Tennessee State University · Enosis Solutions · North Carolina Agricultural and Technical University
首次将注意力头重要性评分用于表格 Transformer，72.5% 实验中移除最低重要性头最稳健
📌 工作参考价值（4 点）
- 若业务中正在用 Transformer 处理用户/物品/上下文特征或表格型特征，可直接对每层每个 head 计算重要性分数，按低重要性逐步剪枝；论文在 40 个 tabular 数据集上显示，先删最低重要性 head 在 72.5% 实验中性能损失最小，适合做线上模型压缩和降本。
- 重要 head 跨层分散，没有稳定层规律；因此剪枝/降载时不要固定保留最后一层或某几层，最好在目标业务数据上重新度量。
- 不同 dataset/schema 的 head 重要性差异大，意味着多域推荐或不同场景（CTR、CVR、push 文案）下不宜共用一套 head mask，可分场景/分域计算重要性，甚至做成 feature-based importance 监控。
- 该方法可以作为解释工具，排查表格型 Transformer 里哪些 head 捕捉重要交叉特征/高基数类别特征，辅助特征工程和模型调试；源码可直接复用。
模式匹配即推理：人类与 LLM 日常推理的共享机制
🧭 人类与 LLM 推理机制比较
University of Wisconsin–Madison
人类与 LLM 在常识推理中犯类似的错误，且 LLM 的注意力头实现了一种模式匹配，可预测人类看似不合理的错误。
📌 工作参考价值（4 点）
- 借鉴注意头分析技术，诊断 LLM 在推荐、Agent 规划等下游任务时的决策归因，识别依赖拼凑式模式匹配的场景。
- 在构建 prompt 时警惕无关细节干扰，可参考该文发现的“不相关提示信息导致错误”的现象，通过对抗性提示去除诱偏因素。
- 若业务需要 LLM 执行严格因果推理（如多步 Agent 任务），应避免单纯依赖模型内部模式匹配，可结合结构化世界模型、知识图谱或符号推理模块。
- 论文对常识推理难点的分类可作为构建评估集或进行数据增强的依据，帮助 Agent 在物理、社会等常见场景中减少相似错误。
快速且忠实的函数向量
🧭 LLM可解释性 · Function Vectors
Fraunhofer Heinrich-Hertz-Institute, Berlin, Germany · Technische Universität Berlin, Berlin, Germany · BIFOLD – Berlin Institute for the Foundations of Learning and Data, Berlin, Germany · Technological University Dublin, Dublin, Ireland
引入LRP归因与分布式引导，提升函数向量在LLM中的任务控制效率与准确率
📌 工作参考价值（4 点）
- 用LRP定位任务关键注意力头：可直接迁移到LLM推理优化中，通过LRP归因剪枝无关头，降低电商问答、文案生成场景的推理延迟。
- 分布式引导提升控制精度：在控制LLM生成时，将引导向量插入多层多头比仅在一层注入更有效，可改善商品详情生成的事实一致性和风格控制。
- 加速Function Vectors提取：LRP仅需少量样本即可识别有效头，大幅减少ICL示例数，适合电商中需频繁更新prompt的动态场景（如大促自动卖点生成）。
- 分析ICL任务表示的工具：方法可推广用于诊断LLM在推荐解释生成、用户意图分类中的任务编码方式，辅助Prompt工程与示例选择。